Ông có thời gian dài công tác bên ngành ngoại giao, từng giữ chức Tùy viên Đại sứ quán Việt nam tại Thụy Điển, Phó vụ trưởng Vụ văn hóa UNESCO, Tham tán Công sứ Đại sứ quán Việt Nam tại Thái Lan.

Năm 2001 - 2007 ông giữ chức Phó Chánh Văn phòng Bộ Ngoại giao, Chánh Văn phòng, Trợ lý Bộ trưởng.

Năm 2007 ông được bổ nhiệm giữ chức Thứ trưởng Bộ Ngoại giao, Tổng thư ký Ủy ban Asean (2010).

Năm 2011 ông được bổ nhiệm giữ chức Bộ trưởng Chủ nhiệm Văn phòng Chủ tịch nước và được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng, tái cử năm 2016.